Spark local模式连接集群hdfs、hive

#Spark local模式连接集群hdfs、hive| 来源: 网络整理| 查看: 265

背景介绍

Spark提供了local、standalone、on yarn等多种运行模式，但为了保持开发环境与实际运行环境的一致性，通常都是在本地编写代码，然后编译并上传jar包到Spark集群调试运行。但是面对复杂的处理逻辑，或遇到性能问题要修改代码时，开发人员将不得不多次进行修改、编译、上传jar。无休止地重复十分耗费精力，严重影响开发效率。

Local模式背后的思考

Spark local模式是框架提供的一种使用线程模拟多个进程协调工作的模式，方便我们在IDE中直接run程序。但是默认情况下该模式所使用的本地文件系统、本地hive的库，都与应用真实的运行环境不一致。因此要想使用local模式的快速开发测试，必须先配置local模式使用集群中的公共资源。

如何配置（windows）

集群环境：hadoop2.7.4、Spark2.1.1 需要软件：winutils.zip 开发工具：IDEA

配置本地HADOOP_HOME 解压hadoop-2.7.4.tar.gz到D:\hadoop\hadoop-2.7.4 解压 winutils.zip 软件至 D:\hadoop\hadoop-2.7.4\bin 配置环境变量：HADOOP_HOME D:\hadoop\hadoop-2.7.4 添加 path ： %HADOOP_HOME%\bin;

拷贝集群配置文件集群文件：core-site.xml、hdfs-site.xml、hive-site.xml 将集群文件拷贝到工程中的 resources 文件夹

配置本地DNS解析目的是让本地环境能够解析出上述配置文件中的域名

配置集群环境中的HDFS的权限用户默认情况下使用windows本地用户去读写hdfs，很显然是没有权限的。使用如下方式就可解决：

System.setProperty("HADOOP_USER_NAME", "hdfs") 复制代码运行测试代码在IDEA中直接运行如下代码进行测试： def main(args: Array[String]): Unit = { // 设置日志级别 Logger.getLogger("org").setLevel(Level.INFO) // 如果在windows本地跑，需要从widnows访问HDFS，需要指定一个合法的身份 System.setProperty("HADOOP_USER_NAME", "hdfs") val spark = SparkSession.builder() .appName("App") .master("local") // local .config("HADOOP_USER_NAME","root") // 该种方式不生效 .enableHiveSupport() .getOrCreate() val sc = spark.sparkContext // 导入spark的隐式转换 import spark.implicits._ // 导入spark sql的functions import org.apache.spark.sql.functions._ spark.sql("show tables").show() sc.stop() spark.stop() } 复制代码总结

配置Spark local模式获取集群资源，避免频繁打jar包、上传等过程，大大提高开发效率。本文介绍windows下开发环境配置，其他平台同理。另外，集群环境如apache原生版、cdh整合版均已测试可以使用。

安装包及项目源码提取码：1i6h

【本文地址】

公司简介

联系我们